Уроженец г. Двинска Витебской губернии Российской империи (ныне — г. Даугавпилс, Латвия).
Учился в Витебской Художественной школе (у М. З. Шагала), затем в Петрограде в Рисовальной школе Общества поощрения художеств и в Институте художественной культуры у К. С. Малевича.
Работая в Ленинграде, вошёл в группу П. Н. Филонова «Мастера аналитического искусства».
В конце 1931 г. арестован за «клевету на АХР» (Ассоциацию художников революции) и выслан на 3 года в ссылку, которую отбывал в Курске, потом в Борисоглебске.
В 1948 г. арестован вторично, приговорён к 15 годам Исправительно-трудовых лагерей и выслан на сей раз в Воркуту.
Все картины Гершова конфисковали и уничтожили сотрудниками КГБ.
В августе 1956 г. реабилитирован и освобождён.
Скончался и похоронен в Ленинграде.
Персональных выставок его в СССР не устраивалось, выставки же за границей (в Лондоне, Вашингтоне, Нью-Йорке, Париже, Филадельфии) проходили с большим успехом. Одной из таких выставок являлась выставка «7 русских выдающихся художников», организованная UNESCO в феврале 1990 г.